前沿剪影｜关注语义：具体性和可预测性如何影响阅读眼动加工？

An eye on semantics: a study on the influence of concreteness and predictability on early fixation durations

作者：1 Federica Magnabosco；2 Olaf Hauk

单位：1 MRC Cognition and Brain Sciences Unit, University of Cambridge, Cambridge, UK；

2 MRC Cognition and Brain Sciences Unit, University of Cambridge, Cambridge, UK

文章来源：Language, Cognition and Neuroscience；https://www.tandfonline.com/doi/full/10.1080/23273798.2023.2274558?src=；

Published：9 November, 2023

摘要：We used eye-tracking during natural reading to study how semantic control and representation mechanisms interact for the successful comprehension of sentences, by manipulating sentence context and single-word meaning. Specifically, we examined whether a word’s semantic characteristic (concreteness) affects first fixation and gaze durations (FFDs and GDs) and whether it interacts with the predictability of a word. We used a linear mixed effects model including several possible psycholinguistic covariates. We found a small but reliable main effect of concreteness and replicated a predictability effect on FFDs, but we found no interaction between the two. The results parallel previous findings of additive effects of predictability (context) and frequency (lexical level) in fixation times. Our findings suggest that the semantics of a word and the context created by the preceding words additively influence early stages of word processing in natural sentence reading.

我们在自然阅读过程中使用眼动跟踪技术，通过操纵句子上下文和单词含义，研究语义控制和表征机制如何相互作用，从而成功理解句子。具体来说，我们研究了单词的语义特征（具体性）是否会影响首次凝视和注视持续时间（FFDs 和 GDs），以及它是否与单词的可预测性相互影响。我们使用了一个线性混合效应模型，其中包括几个可能的心理语言协变量。我们发现，具体性的主效应虽小，但很可靠，并且复制了预测性对 FFDs 的效应，但我们没有发现两者之间的交互作用。这些结果与之前发现的可预测性（上下文）和频率（词性水平）对固定时间的叠加效应相似。我们的研究结果表明，在自然句子阅读中，单词的语义和前面单词所创造的语境会对单词处理的早期阶段产生叠加影响。

关键词：semantic cognition；reading；context；eye movements；predictability；concreteness

语义认知；阅读；语境；眼动；可预测性；具体性

1

引言 Introduction

      语义认知是指对所获得的关于世界的知识及其受控和面向任务的使用的表示（Patterson et al.，引文2007)。从认知神经科学的角度来看，最近提出了受控语义认知（CSC）框架，以解释概念知识是如何表示和灵活使用的（Lambon Ralph et al.，引文2017)。CSC认为，对有意义的刺激的成功理解依赖于两个交互系统：语义控制和语义表示。语义表示系统负责概念的多模态表示。它依赖于位于前颞叶 （ATL） 的中央跨式联运枢纽与模态特定区域的分布式网络之间的相互作用（Patterson 等人，引文2007;帕特森和兰邦·拉尔夫，引文2016)。另一方面，由前额叶和后颞区组成的语义控制系统能够对语义信息进行任务和上下文适当的激活，从而操纵语义表示系统内的激活（Jackson，引文2021)。由于这两个系统之间的相互作用使灵活的上下文依赖语义认知成为可能，因此研究这种相互作用在大脑和行为中的动态是语义认知理论发展的重要一步。大多数情况下，概念表征的研究依赖于对孤立项目呈现后的行为和神经测量的观察。在这里，我们建议将句子阅读作为使用自然且控制良好的实验范式研究自然语言处理的一步。

在我们的研究中，我们旨在通过关注自然阅读过程中上下文和单词语义的影响来研究语义控制与表征之间的关系。具体来说，我们同时研究了词的可预测性和具体性的影响，分别代表了句子上下文和单词语义特征。我们决定将重点放在可预测性上，因为它既可以自上而下，也可以自下而上地进行语义控制：如果一个词很容易预测，那么由于语义相关概念和特征的上下文驱动激活，它也很容易与前面的上下文集成。另一方面，当一个词是不可预测的时，这种预激活是不存在的，或者至少是减少的（Kuperberg & Jaeger，引文2016).换句话说，上下文比其他概念更有利于某些概念;当一个单词不可预测或令人惊讶时，需要一种控制机制来检索和选择该单词的上下文相关语义特征。一个词的具体性已被证明在语义脑领域产生可靠的效果，例如神经影像学研究中的 ATL（Binder 等人，引文2005;Dhond 等人，引文2007;Farahibozorg等人，引文2022;Hoffman 等人，引文2015).行为证据表明，抽象词比具体词需要更长的时间来处理（Bottini et al.，引文2022;Juhasz & Pollatsek，引文2011;理查兹引文1976）。为什么抽象词比具体词更具挑战性仍然存在争议。上下文可用性理论表明，抽象词更难，因为它们可以依赖的语义上下文信息量较少（Schwanenflugel et al.，引文1988;Schwanenflugel & Shoben，引文1983;Schwanenflugel & Stowe，引文1989)。其他作者认为，虽然具体概念的特征是单一的焦点所指，但抽象词与更不均匀的表示相关联，因此可能具有更复杂的表示（Pexman等人，引文2007).换句话说，抽象的词汇表现更复杂，因为它们是在广泛的身体、情绪和心理情境中体验到的，与具体的物体相反（Barsalou & Wiemer-Hastings，引文2005)。一个推论是，抽象词的表述应该对上下文更敏感，因为某个抽象词所具有的特定含义在不同情况下会发生变化（霍夫曼，引文2016)。这两种理论都预测，当抽象词出现在预测语境中时，理解抽象词做出的努力应该更小：在可预测的语境中，与语境相关的语义特征将至少部分被预先激活，因此需要更少的检索和选择过程，这应该特别有利于具有更多可变表示的抽象词。为了支持这一观点，在可预测的句子上下文中，单词命名和词汇决策任务的具体性优势似乎消失了（Schwanenflugel et al.，引文1988;Schwanenflugel & Shoben，引文1983).据我们所知，这一发现尚未在眼球运动中得到复制。
1.1 句子理解中的语义认知

以前的一些研究集中在语义对视觉单词识别的影响上，这是通过自然阅读过程中的眼球运动来衡量的（Juhasz & Pollatsek，引文2011)。他们中的大多数人研究了句子层面的意义，以及它如何通过可预测性影响早期阅读时间（见Staub，引文2015）、合理性（Rayner， Warren， et al.，引文2004）和歧义（Duffy et al.，引文1988).特别是，可预测性对早期阅读时间测量的影响，如第一次注视持续时间 （FFD）、凝视持续时间 （GD） 和注视单词的概率 （PrF） 已经得到充分证实。可预测性被认为通过预先激活可能的替代方案来起作用，并且预激活的水平由单词的填空概率调节（Staub，引文2015），而不抑制不太可能出现的单词（Frisson et al.，引文2017)。

在单个单词水平上，已知影响注视持续时间的词汇和语言因素包括词频、意义数量和语音特征（参见 Kliegl 等人，引文2006和雷纳，引文2009）。然而，只有少数研究调查了语义单词变量对注视持续时间的影响。在一项多元回归研究中，Juhasz 和 Rayner 调查了词汇对眼球运动的影响（引文2003），作者将具体性等变量作为预测因子。作者首次表明，具体性会影响FFD、GD和总注视持续时间；然而，效果取决于模型中包含的频率测量。随后的一项研究检查了词汇和语义变量对复合词的可能影响（Juhasz，引文2018)。似乎感觉体验评级而不是可成像性影响了早期注视持续时间。最后，一项研究调查了自然阅读过程中情绪、感觉运动和语言特征之间的关系（Sheikh & Titone，引文2013)。作者得出结论，眼球运动行为受到情绪和感觉运动信息的调节，特别是对于低频词。

虽然上下文和单词语义之间的相互作用尚未得到研究，但许多研究已经考虑了可预测性和词汇词频对眼球运动的联合影响（例如 Hand 等人，引文2010;Rayner、Ashby 等人，引文2004)。遵循与可预测性和具体性类似的逻辑，我们可以预期，与不可预测的上下文相比，高度可预测的词频效应会减弱。然而，一个常见的发现是它们的关系是累加的（Rayner， Ashby， et al.，引文2004;施陶布，引文2011,引文2015)。重要的是，这与这些变量对ERP的交互影响形成鲜明对比，在ERP中，预测上下文消除了低频词的较大N400的频率效应（Dambacher等人，引文2006;Van Petten 和 Kutas，引文1991)。我们的研究将为上下文中的具体性效应提供类似的证据基础，然后可以通过神经影像学，特别是脑电图/脑电图方法进一步研究。

1.2 目标和假设

我们的研究有两个主要目的：（1）证实先前关于具体性对眼动数据影响的不一致发现，以及（2）测试自然主义句子自然阅读过程中的眼球运动是否对上下文和单词含义的相互作用敏感。我们想测试抽象词是否比具体词的阅读时间更长，以及具体性效应是否与词的可预测性相互作用，例如，丰富的上下文信息是否凌驾于具体性之上。从CSC的角度来看，找到可预测性和具体性之间的相互作用将为自然阅读过程中控制和表征的早期互动参与提供支持。然而，眼球运动中的词汇频率也没有建立这种相互作用，而它似乎存在于诱发的大脑反应中。因此，我们目前的行为研究将成为解释神经科学研究上下文和语义相互作用的基础，并为该领域的未来研究提供行为基础。

2

方法 Method 

2.1 参与者

我们招募了41名受试者（31名女性，9名男性，1名其他/不愿回应;平均年龄28岁±标准差10岁，范围18-62岁）。所有参与者报告的母语为英语，视力正常或矫正至正常，并且没有神经、发育或语言障碍史。他们因参与研究而获得金钱报销。由于记录过程中的技术问题，一名受试者没有完成研究，因此我们分析了40名受试者的数据。这项研究得到了剑桥心理学研究伦理委员会的批准。2.2 刺激

我们创建了 400 个句子，每个句子在句子末尾包含一个目标词。每个句子的总字数在 8 到 17 之间（平均 = 12）。目标词在句子中的位置总是在第 6 个和第 12 个单词之间（平均位置 8.5），并且总是后面至少还有两个单词。有关刺激的更多信息，请访问此存储库 （https://osf.io/wyp7a/）。

2.3 在线评级研究我们通过在线完形填空概率评级研究（Taylor，引文1953）使用工具箱 jsPysch （de Leeuw，引文2015）和JATOS（Lange等人，引文2015).我们将 400 个句子分成两半，以便将刺激分成两组，每组 200 个句子。这对于将研究持续时间保持在一小时以下是必要的。每组都呈现给在 Prolific （http://www.prolific.co/） 上招募的 50 名参与者。该任务包括向参与者展示一个句子的框架，直到目标前面的单词，参与者被要求输入他们认为最有可能出现的单词。在他们回答之后，显示了用于眼动追踪研究的完整句子，并要求参与者评估该示例中呈现的事件的合理性。受试者的陈述顺序是完全随机的。他们因参与研究而获得金钱报销。在数据收集过程中，由于服务器错误，一名参与者无法完成研究。在第一次分析之后，我们检测到 2 名参与者在研究的大部分时间里没有适当地完成任务（要么没有提供任何单词，要么始终与上下文无关），并将他们排除在完形填空计算之外。大约一半的句子被证明是高度不可预测的（完形填空值中位数 = 0.10，平均值 = 0.28，范围 = [0， 1]），句子通常被认为是合理的（合理性值中位数 = 5.97，平均值 = 5.78，范围 = [2.8， 6.77]，其中李克特量表为 [1， 7]）。

2.4 语义可预测性

我们更详细地分析了所提供的响应与目标词之间的语义相似性，原因有两个：（1）一些参与者提供了不止一个词，有时在名词前包含形容词，或完成句子;（2）一些参与者没有提供确切的单词，而是提供语义上与目标单词相似且与句子框架完全一致的单词。我们希望能够捕捉到眼球运动中的语义可预测性效应是由潜在许多单词的分级激活引起的，而不是对特定单词的离散预测（Staub，引文2015)。因此，我们通过将参与者提供的单词与word2vec相似性算法测量的目标单词之间的相似性来衡量目标词的可预测性（Mikolov，Chen等人，Mikolov，Chen等人，）引文2013），在 Google 新闻数据集上进行了预训练（Mikolov， Sutskever， et al.，引文2013;Řehůřek & Sojka，引文2010)。具体来说，对于每个句子，我们计算了目标词与每个参与者产生的词之间的语义相似度;我们为每个参与者的回答选择了最相似的单词（例如，当感兴趣的单词前面有一个形容词时，这使我们能够专注于感兴趣的单词），然后计算参与者的平均语义可预测性。例如，如果参与者提供的单词与目标相同，则语义相似度为 1，如果许多参与者提供相同的单词，则语义可预测性也接近 1。另一方面，当产生的单词始终与目标无关时，语义可预测性接近于0。在实践中，完形填空和语义可预测性高度相关（如图1），事实上，产生了类似的结果（见附录）（表1)。

图 1. 相关语义、心理语言和上下文变量的相互关联矩阵。所有大于 |.2|在矩阵中以数字方式报告。表 1. 刺激的示例，包括相关的具体性（范围 1，高度抽象，到 5，高度具体）和可预测性（范围 0，高度不可预测，到 1，高度可预测）。
2.5 单字变量

对于每个目标词，我们还检索了多个单词语义特征：对于具体性效应，我们从Brysbaert等人（引文2014），以及 Lynott 等人对复合感觉运动强度的测量（引文2020）作为可能的替代方案。根据波洛克（引文2018），我们还检索了化合价和唤醒（Warriner et al.，引文2013），因为具体词和抽象词之间的情感价值和唤醒可能不同，因此可能会起到混淆作用。我们还检索了许多可能的词汇心理语言学协变量：OLD20（英语CELEX词汇数据库中所有词型计算的平均Levenshtein距离），来自英国词典项目的反应时间和词汇决策任务的准确性（Keuleers等人，引文2012);从McWord检索到的CELEX数据库中的正交邻域大小（Coltheart's N），无约束的二元组和三元组频率（Medler&Binder，引文2005）;频率和对数频率 （Zipf） 来自 SUBTLEX-UK 数据库（van Heuven 等人，引文2014)。我们纳入了关于更一般的句子上下文的变量，例如单词在句子中的位置;频率、对数频率 （Zipf） 和 SUBTLEX-UK 数据库中前一个单词的字母数;word2vec 目标词与前面内容词之间的平均相似度（Mikolov， Chen， et al.，引文2013).作为探索性措施，我们研究了语义多样性（Hoffman， Lambon Ralph， et al.，引文2013）和获得年龄（Kuperman等人，引文2012）作为单词具体性的可能替代方法。由于这是事后决定的，因此我们只能检索 400 个目标词中 397个的语义多样性。

在图1我们报告了所考虑变量的相互相关矩阵，并在表2总结了它们的特征。度量值引用目标词，除非指示为 PREFRONT，表示它指的是目标词之前的词。为了避免预测变量之间的共线性，我们根据它们在模型中的估计系数，在分析中仅包括当前呈现的预测变量的子集。

表 2. 心理语言学和语义变量的汇总统计。以粗体突出显示了我们分析中包含的变量。

各种预测变量之间的相关性模式总体上符合预期。更具体地说，具体性与感觉运动强度、语义多样性和习得年龄相关（具体名词与更强的感觉运动体验相关;抽象词更多样化，学习时间更晚）。我们认为具体性是本研究的主要重点;但是，由于感觉运动强度是相关的，并且已经证明会影响阅读时间（Juhasz，引文2018），我们还探讨了它的影响。单词中的字符数与两个正字相似度量相关，即 Coltheart 的 N 和 OLD20，它们又相互关联。二元组和卦组频率是相关的，因为它们测量的是相似的正交特征。Frequency 和 LogFrequency （Zipf）彼此密切相关。它们还与英国词典项目中测量的 RT 和词汇决策的准确性相关。最后，关于上下文的预测变量相互关联，包括上下文语义相似性（与目标词）、完形填空概率和语义可预测性。描述紧邻目标单词的单词的长度和频率测量值彼此密切相关。

2.6 程序

刺激是使用 PsychoPy 创建和呈现的（Peirce 等人，引文2019）和 PyGaze（Dalmaijer 等人，引文2014）工具箱。所有刺激都呈现在统一的灰色背景上，在黑色的 20 像素等宽字体 （Consolas） 的单行上。每个句子都对齐到屏幕中央。显示器的分辨率为 1280 × 1024 像素，刷新率为 60 Hz。参与者坐在距离屏幕约 70 厘米的地方。视力是双眼的，但仅使用EyeLink 1000 Plus眼动仪（SR Research，Toronto，ON，Canada）记录右眼的眼球运动，采样率为1000 Hz。在每个模块开始之前以及必要时在模块内执行 9 点校准程序。在研究开始之前，参与者熟悉了校准程序和四个练习句和一个问题的任务。实验持续不超过1.5小时。

每次试验都从屏幕左侧的注视十字架开始。参与者必须注视那个十字架才能触发句子的出现。一旦他们读完这句话，他们就会被指示看屏幕右下角的黑色方块，以完成每次试验。在10%的试验之后，提出了一些简单的是/否理解问题，以检查受试者是否专心，他们是否在阅读理解。参与者被要求按下两个键之一来做出回应。所有参与者都成功完成了任务，因为理解问题的平均准确率为 95.2 ± 3.9%（范围 85-100）。实验分为10个块，每个块包含40个句子;句子的呈现顺序是完全随机的。

2.7 数据分析

该研究已预先注册到开放科学框架存储库：https://osf.io/qzksv。

数据在Python（3.6版）中进行预处理，而统计分析在R（3.6.2版）中进行。存储库中提供了预处理和分析的脚本 https://github.com/magna-fede/EOS 我们依靠 EyeLink 的算法进行事件检测，并将分析重点放在每个目标词的首过注视持续时间上。如果在注视目标词时出现轨迹丢失，或者在注视感兴趣的注视之前或之后紧接着眨眼，则试验不包括在分析中。我们在分析中仅包括持续 80 到 600 毫秒的注视点，不包括进一步分析中的异常注视持续时间。

我们采用了具有连续变量的多元回归设计，并将可能的混杂因素作为协变量，以确保我们的刺激尽可能自然。将我们的刺激二分法（即因子具体性和可预测性，每个因素有两个层次）可能会引入其他混淆（例如，高度抽象的单词往往不那么频繁，不太熟悉等）。此外，匹配大量类别的刺激将导致更少的句子数量。我们试图通过多元回归设计来克服这些问题，将参与者和项目作为交叉随机效应（Baayen，引文2004;Baayen 等人，引文2008).

首次通过测量的是首次注视持续时间 （FFD），即第一次注视目标单词的持续时间，当它在第一次通过时被注视的时间；凝视持续时间 （GD），即在第一次通过期间（即没有越过单词的边界）对目标单词进行的所有连续注视的总和;和注视概率 （PrF），它反映了注视一个单词的可能性，而不是在第一次通过时跳过它。对于每个变量，我们使用 lme4 和 lmerTest 包拟合线性混合效应模型或 PrF 的逻辑混合模型（Bates 等人，引文2015;库兹涅佐娃等人，引文2017），参与者和项目作为交叉随机效应。所有自变量均已标准化。对于每个模型，我们检查了哪些协变量影响了因变量，当它们是显著的预测因子时，它们被包含在模型中。我们研究了可预测性和具体性的贡献，以及它们的相互作用。随机效应结构包括每个协变量的随机截距和参与者的斜率（假设模型收敛的参数不相关）和项目的随机截距。在适当的情况下，我们删除了随机斜率上方差为零的项（Barr et al.，引文2013).来自 easystats 环境的软件包也被用于分析和可视化（Makowski et al.，引文2020)。

2.8 探索性分析我们进行了额外的探索性分析，以测试是否有任何其他上下文和意义层面的特征影响注视持续时间（我们测试了效价、唤醒和合理性的影响）。此外，我们分析了先前文献中报道的其他单词特征，即语义多样性（Hoffman， Lambon Ralph， et al.，引文2013）和获得年龄（Kuperman等人，引文2012).

3

结果  Results

FFD、GD 和 PrF 措施的摘要报告在表3。

表 3. 测量摘要，对参与者的平均值。

作为第一步，我们检查了哪些协变量显着预测了每个感兴趣的测量值（即因变量是FFD、GD或PrF;在这一步中，没有考虑上下文和语义层面的变量）。每个模型中包含的协变量是单词频率、单词在句子中的序号位置以及目标单词的字母数（长度）。一旦我们拟合了每个度量的基本模型，我们就检查了我们感兴趣的预测变量（即可预测性、具体性及其相互作用）的贡献。对于所有分析，目标词的频率都以 Zipf 值的形式包含在内。

FFD、GD 和 PrF 的结果在表4,表5和表6分别。

表 4. LME首次注视持续时间分析的结果。

表 5. LME注视持续时间分析的结果。

表 6. 固定概率逻辑回归分析的结果。

在 FFD 分析中，我们删除了交互作用可预测性：具体性的随机斜率以避免奇异性，因为它的方差 = 0（Barr 等人，引文2013).FFD受具体性（p < 0.05）和可预测性（p < 0.001）的影响。然而，没有证据表明这两个参数之间存在相互作用。正如预期的那样，不可预测的单词比可预测的单词更长的注视时间，抽象单词比具体单词的注视时间更长。重要的是，可预测性效应的幅度远大于具体性效应。频率效应略有显著性（p < 0.1），我们观察到序数位置的影响（p < 0.05）。长度不能预测FFD。除位置外，所有预测变量都具有促进作用——较大的值与较短的 FFD 相关（而对于位置，前面有较多单词的单词与较长的 FFD 相关）（图2为了更好地理解可预测性与具体性以及频率之间的关系，我们绘制了感兴趣预测变量的预测FFD值，同时保持模型中所有其他参数不变（图2这些图支持具体性和可预测性之间的累加效应，但也定性地表明，在我们的刺激中，具体性和频率对FFD的影响具有相当的幅度。

图2. （A） 模型中估计值的可视化表示。（B）在保持其他预测变量不变的情况下，完整FFD模型中具体性和频率的条件效应的比较。

在 GD 分析中 （表5），我们还删除了交互作用可预测性：具体性的随机斜率，因为它的方差 = 0。在这种情况下，我们没有观察到任何具体性的影响，也没有观察到具体性和可预测性之间的相互作用。我们复制了频率效应（p < 0.05），即相对高频的单词比频率较低的单词获得更短的注视。目标词的位置对GD的影响很小（p < 0.1）。最后，与FFD相反，目标词的长度是凝视持续时间的重要预测因子（p < 0.001），因为较长的词与较长的GD相关。最后，我们将逻辑回归模型拟合到固定单词的概率（表6).在这种情况下，我们复制了单词的可预测性（p < 0.001）、频率（p < 0.05）和长度（p < 0.001）影响固定单词的概率的发现。具体性不是一个重要的预测因素。位置是一个略微显著的预测因子。具体来说，与不可预测、更长、频率较低的单词相比，可预测的、较短的和更频繁的单词更有可能被跳过。综上所述，我们发现了具体性和可预测性对FFD的累加效应，但没有证据表明这两个变量具有交互效应。虽然可预测性的影响在GD和PrF中持续存在，但在这些情况下，具体性的影响（在FFD中很小）并不显着。重要的是，具体性和可预测性之间的加性关系与之前关于频率和可预测性的研究结果相似。考虑到具体性的影响相当小（并且只存在于正在考虑的三个措施之一中），并且在一位匿名审稿人的建议下，我们决定在Provo语料库上验证我们的结果（Luke & Christianson，引文2018），一个公开可用的眼动追踪数据集，包含逐字完形填空评级。详细信息和讨论可在附录中找到。总之，我们发现，当考虑不同的词类时，结果与我们研究的结果是一致的。
3.1 探索性分析我们进行了额外的分析，以（1）测试我们的研究结果在考虑其他潜在混杂变量时的稳健性;（2）测试是否有其他特征可以在未来的研究中更深入地探索。首先，我们研究了可预测性以外的上下文变量的可能影响;然后，我们研究了其他单词语义变量是否影响FFD。下面报告的探索性分析是对FFD测量进行的，因为我们发现仅对FFD具有可靠的具体性和可预测性的累加影响。关于是否有任何其他上下文变量影响 FFD 的分析结果报告在表7.有趣的是，我们发现句子合理性对FFD的影响与可预测性无关，尽管高度相关（0.57）;虽然在以前的脑电图文献中已经观察到这一点（Nieuwland等人，引文2020），以前在眼动追踪研究中没有报道过。重要的是，纳入合理性并没有削弱具体性作为预测因素的作用，但确实证实了其对FFD的影响。
表 7. LME模型包括所有显著影响FFD的预测因子。
接下来，我们探讨了其他单词语义变量是否会影响FFD。我们分别将唤醒和效价纳入完整模型（即表4），以解释可能的情感混淆。但是，它们都没有影响FFD。然后，我们测试了具体性效应的可能替代候选者。我们首先检查了感觉运动强度效应，因为这个变量与具体性密切相关，以前的研究发现它会影响复合词中的FFD（Juhasz，引文2018）。我们没有重复这一发现。然后，我们对两个往往与具体性高度相关的变量进行了相同的分析：语义多样性（Hoffman， Lambon Ralph， et al.，引文2013）和获得年龄（Kuperman等人，引文2012).虽然习得年龄的影响不显著，但语义多样性的影响却不显著。最后，我们还测试了受试者年龄的影响（考虑到我们在受试者中范围很广），但它并没有显着影响FFD。

4

讨论  Discussion

      我们研究了自然阅读过程中单词含义（具体性）和句子上下文（可预测性）是否交互影响注视持续时间。我们的句子被构造成类似于自然的和合理的刺激。首先，我们证实了在控制其他相关心理语言变量时，关于具体性对第一次注视持续时间（FFD）的影响 - 尽管很小（Juhasz & Rayner，引文2003)。.然而，我们没有发现具体性对凝视持续时间（GD）或跳跃率有这种影响的证据。这些结果得到了对 Provo 语料库进行的额外分析的支持，该分析产生了兼容的结果（详见附录）。最后，我们没有发现任何分析措施的具体性和可预测性之间存在相互作用的证据。有趣的是，这种相互作用的缺失与之前关于词频和可预测性对眼球运动的累加影响的研究结果相似。

4.1 单词语义对FFD的影响

我们测试了FFD的具体效应的影响性，除了低级协变量之外，还有几个可能的混杂变量。例如，据报道，效价和唤醒等情绪特征会影响单个单词的语义特征（Kousta et al.，引文2011)。然而，它们并没有影响我们结果的一般模式。我们还通过包括与具体性相关的变量（如感觉运动强度、语义多样性和习得年龄）来研究具体性效应的性质。然而，我们发现它们是FFDs的预测因子，比具体性更差。因此，具体性比感觉运动强度、语义多样性或习得年龄更能预测FFD。抽象词比具体词更难处理的具体原因仍在争论中，但似乎具体性评级（Brysbaert et al.，引文2014）捕获了其他明显的替代心理语言变量无法捕获的认知过程。虽然在统计学上是可靠的，但在我们的分析中，在控制可预测性时，具体性的影响是相当微妙的。然而，我们在分析更大的 Provo 语料库数据集时观察到了类似的结果，其中具体性是 FFD 的边际显着预测因子。需要强调的是，虽然我们的研究是为测试单个单词语义影响而设计的，但 Provo 语料库是为其他目的而设计的，很难完全控制该数据集中存在的所有相关混杂因素（更详细的讨论见附录）。此外，以前关于语义对眼球运动影响的文献不一致，在这里我们按照预先注册的分析协议报告结果。眼动文献和使用传统双选择强制选择任务的研究之间似乎存在差异。例如，在词汇决策任务中，一直有较大的具体效应被报道（例如Levy-Drori和Henik，引文2006;Schwanenflugel等人，引文1988；Barber 等人，引文2013;Kousta 等人，引文2011）。作为具体基础的认知过程可能对任务需求很敏感。例如，Farahibozorg 等人 （引文2022）报告说，在语义决策任务中，具体单词的反应时间优势约为100毫秒，而在词汇决策任务中，这种差异仅为6毫秒。自然阅读可以说更接近于语义决定，因为我们通常阅读是为了从文本中提取意义。因此，我们在眼动追踪数据中发现了相对较小的具体效应，这一事实令人惊讶。进一步的探索和方法组合可能会揭示更多关于具体和抽象词语背后的神经和认知基质的信息。为什么这种效应只存在于第一次注视持续时间中，而不是出现在凝视持续时间中，这仍然是一个悬而未决的问题（在我们的数据集和普罗沃语料库中，尽管在后者中，这种影响只是微不足道）。具体性可能只影响文字处理的最早阶段，因此对FFD的影响最大，而对GD的影响可能由其他影响主导。先前的脑电图和脑电图研究表明，具体性会影响早期和晚期潜伏期的大脑反应（Farahibozorg等人，引文2022），但目前尚不清楚哪些影响行为反应，如眼球运动。未来的工作可能会通过因子设计来解决这些问题，以最大限度地提高检测具体效应的可能性。尽管研究可预测性和具体性之间可能的相互作用是本研究的目标之一，但我们无法预测数据集中可预测性和具体性效应的相对大小。我们发现，相对于具体性的影响，可预测性的影响要强得多，因此很难检测到任何相互作用。未来的研究可能会考虑对比不同程度的可预测性（例如，排除可预测性的极值）以防止这种混淆。此外，频率对FFD的影响很小。我们认为这反映了实验设计选择，因为我们的范式主要是为了研究具体性和可预测性的影响。因此，我们几乎没有极端频率值，尤其是不是非常高频的词，以避免与具体性混淆，因为高频词通常是具体的而不是抽象的。尽管如此，我们的频率效应方向与先前的研究结果一致，并且在GD中是显着的。总体而言，我们关于具体性对早期注视持续时间影响的研究结果与以前的研究一致，表明单词的含义会影响早期阅读时间，这是通过自然阅读范式中的眼球运动来衡量的。然而，这些结果仍然需要在未来的研究中得到证实和扩展，特别是在具体性和可预测性之间的关系方面。最终，未来的研究应该在这些对眼球运动的影响和潜在的大脑过程之间建立联系。

4.2  上下文与单词语义的关系

我们没有发现任何证据支持在任何感兴趣的测量上具体性和可预测性之间的相互作用。这与以前早期的报道形成了鲜明的对比，这些报道减轻了与预测上下文之后的抽象词相关的困难（Schwanenflugel等人，引文1988;Schwanenflugel & Shoben，引文1983;Schwanenflugel & Stowe，引文1989)。在两种实验情境中采用的任务之间的差异可能太大（即自然阅读与命名/词汇决策），或者交互效果取决于上下文和目标词之间的时间延迟（在自然阅读中较小）。另一个合理的选择是所用刺激之间的差异：在我们的任务中，我们使用了自然主义句子，而上述一些研究则没有。例如，在 Schwanenflugel 和 Stowe 报告的命名实验中（引文1989），不可预测的句子结构的一个例子是“你永远不会猜到这句话的最后一个词是 // values。（最后一个词是单独呈现的）。可以说，这种句子的内容与自然主义环境中的典型句子的内容不同，也与同一实验中的可预测句子条件不同。尽管交互词在普罗沃语料库分析中接近显著性，但应谨慎解释这一点，因为相对于可预测的句子，不成比例的表示是不可预测的（在这些情况下使具体性预测值不可靠），并且由于抽象/具体词在不同词类中的不平衡表示。具体性和可预测性对FFD的加性影响将与词频和可预测性的加性影响平行。在 Staub （引文2015）提出了词频的加法效应而非交互效应的一些替代解释：可预测性和频率可能在不同的加工阶段起作用，可预测性效应从目标词位于中央凹旁位置时开始，而频率可能会影响后期的加工（Staub & Goddard，引文2019)。或者，词频和可预测性效应可能与不同的过程有关：虽然前者可能会影响词汇访问，因为低频词与高频词的记忆强度不同，但后者被提议改变遇到某些词的概率。原则上，类似的解释也可以解释具体性和可预测性之间缺乏相互作用的原因：具体性和可预测性可能会影响不同阶段或不同认知计算的文字处理。然而，当相应的信息在不同的阶段和不同的大脑系统中被处理时，两个变量的相互作用仍然可能发生，只要两个变量都影响反应，并且一个变量的影响取决于另一个变量的影响大小（Norris et al.，引文2000).因此，未来的研究应该使用不同的方法解决这个问题。从眼动追踪中得出的行为测量，例如注视持续时间，只告诉我们处理阶段组合的终点，直到行为反应的那一刻（即对另一个词进行扫视）。相比之下，EEG 和 MEG 使我们能够以毫秒级精度区分不同的处理阶段。例如，先前使用连续视觉呈现（即非自然阅读）的研究表明，N400 受具体性调节（例如 Barber 等人，引文2013;Holcomb等人，引文1999） 在句子理解过程中。值得注意的是，在Holcomb等人（引文1999），作者观察到句子上下文和具体性之间的交互效应（在N400时间窗口中），因此具体性效应存在于异常句子中，但不存在于全等句子中。这可能表明上下文支持可能会减少处理抽象词和具体词的差异。这也与以前在ERP研究中发现的操纵频率和可预测性/上下文支持的交互效应一致（Dambacher等人，引文2006;Van Petten 和 Kutas，引文1990).事实上，行为范式中缺乏相互作用并不排除可能的功能相互作用，只有神经测量才能检测到。未来的研究应该旨在通过自然主义阅读共注册范式来探索这些问题（Degno & Liversedge，引文2020;Dimigen等人，引文2011)。眼球运动与脑电图/脑电图的共同配准可以使我们能够研究支持自然阅读的大脑过程，同时仍然保持大量的实验控制（Degno等人，引文2021;Dimigen & Ehinger，引文2021;Weiss 等人，引文2021)。使用新颖的连接和基于多变量模式的方法将同时行为反应（注视持续时间）和大脑活动（由每个注视词产生）的组合（Farahibozorg 等人，引文2022;Huth等人，引文2016;Rahimi 等人，引文2022）可以揭示自然语言处理过程中语义脑网络的动力学。

作者简介

Federica Magnabosco

Federica Magnabosco，MRC认知与脑科学部门方法和语言组的博士生。研究兴趣在于了解人们如何理解他们所读的内容。在她的研究中，她计划专注于句子上下文和单词语义之间的相互作用，并将行为方法（如眼球运动）和神经影像学技术（如EEG/MEG）结合起来。

Olaf Hauk

在我的方法研究中，我正在开发工具来评估 EEG/MEG 源估计的空间分辨率，以及新的多变量/维度大脑连接方法。

在我的实验研究中，我主要使用脑电图、脑电图和眼动追踪的组合来研究单词识别的时空大脑动力学。

我对语义脑网络中的连通性如何取决于刺激和任务参数特别感兴趣，尤其是在自然阅读条件下。

作为 EEG/MEG 负责人，我负责 CBU 的 EEG/MEG 实验室。作为方法负责人，我在 CBU 组织了许多方法支持和培训活动（例如 COGNESTIC、Methods Days 和 Intro to Neuroimaging Methods）。

本文来源：Language, Cognition and Neuroscience

点击文末“阅读原文”可跳转下载

课程推荐

欢迎加入
“语言学心得交流分享群”“语言学考博/考研/保研交流群”请添加“心得君”入群请务必备注“学校/单位+专业/研究方向“今日小编：三 金

审     核：心得小蔓

转载&合作请联系

"心得君"

微信：xindejun_yyxxd

点击“阅读原文”可跳转下载